Gia nhập lò đào tạo trẻ của Thể Công từ năm 13 tuổi, Duy là một trong hai cầu thủ (cùng với Trịnh Quang Vinh) xuất sắc nhất trong chuyến tập huấn của đội U-19 Thể Công đi tập huấn ở Bulgaria vào năm 2006. Bắt đầu được biết đến nhiều ở V-League 2008, Ngọc Duy là thành phần chủ chốt của Thể Công giúp đội bóng này có quãng thời gian đầu mùa giải thăng hoa, thậm chí là đứng đầu bảng xếp hạng, nhưng cuối cùng họ vẫn phải về đích ở vị trí thứ 8 chung cuộc.[1] Mặc dù có thể hình không cao (1,69m) nhưng bù lại Ngọc Duy có tốc độ rất tốt cùng cái chân trái khéo léo nên anh rất nguy hiểm khi thi đấu ở cánh trái. Mặc dù V-League 2008 mới chỉ là mùa giải đầu tiên Ngọc Duy thi đấu nhưng anh đã khiến cho rất nhiều những đàn anh ở bên kia chiến tuyến phải trầm trồ thán phục bởi khả năng đi bóng lắt léo, qua người và dứt điểm hiệu quả[2].

Vào ngày 30 tháng 12 năm 2008, Ngọc Duy có lần đầu tiên được huấn luyện viên Henrique Calisto gọi vào đội tuyển Việt Nam để chuẩn bị cho trận đấu ở vòng loại Asian Cup 2011 gặp Liban và Trung Quốc.

Năm 2010, Ngọc Duy gia nhập CLB bóng đá Hà Nội T&T và giúp đội bóng này giành chức vô địch V-League 2010.[3]

Sau khi mùa giải 2020 kết thúc, Ngọc Duy quyết định giải nghệ sau 21 năm thi đấu và cống hiến cho bóng đá Việt Nam. Cầu thủ sinh năm 1986 kết thúc sự nghiệp bằng danh hiệu huy chương đồng V-League 2020 trong màu áo câu lạc bộ Sài Gòn.[4]